GPT2

기존의 GPT에서 fine-tuning을 제외하고, 다음 단어가 무엇인지를 예측하는 방식만으로 task를 수행해내는 model이다.

Objective Function:

t \sum lo g P (w_{t} ∣ w_{1}, \dots, w_{t - 1}; θ)

: 다음 단어가 무엇인지를 예측하는 것을 통해 Traning시킨다. 보통 어떤 task를 수행해야 하는지도 같이 묶어 학습시키며, 이를 통해 Unsupervised multitask learning이 가능하다.

단순히 다음 단어가 무엇이 올 지 예측하는 것으로, Task를 수행해낸다.